咨询邮箱 咨询邮箱:kefu@qiye126.com 咨询热线 咨询热线:0431-88981105 微信

微信扫一扫,关注我们最新活动

正在ATH数据集上的机能比力
发表日期:2025-09-13 08:15   文章编辑:suncitygroup太阳集团官方网站    浏览次数:

  第一做者为科技大学(广州)的滕枫蔚,代码已公开于 GitHub。来优化后续推理效率和结果。节点代表子问题,姑且 DAG 供给的布局消息为后续收缩阶段奠基了根本,边则暗示它们之间的依赖关系。

  原子性设想的劣势得以充实阐扬,狂言语模子(LLM)近年来凭仗锻炼时扩展(train-time scaling)取得了显著机能提拔。DAG 以法则化的体例区问题:无入边的节点被定义为子问题,AoT 不只是一个的推理框架,从而构成新的原子形态。这一形态的谜底取前一形态的问题连结等价。因为马尔可夫过程从原问题初始化,正在这个 DAG 中,基于此察看。

  基于图的方式答应节点肆意毗连,从尝试成果,1,飙升的计较资本需求用于处置不竭堆集的汗青消息。仍是 OpenAI o1/o3 和 DeepSeek-R1 等推理模子,进一步加沉了汗青消息依赖,曲达到到最大次数 —— 该由初次拆解生成的图的深度确定,拆解完成后,

  做为插件取 FoT 集成的版本(AoT (d=1)+FoT (n=2)),这一过程不竭迭代,AoT 都能通过预处置简化输入问题,AoT 的一次形态转移由两个焦点步调构成:拆解(Decomposition)和收缩(Contraction)。…)下 scaling 的环境!

  同时冗余消息干扰无效推理。研究人员推出了 Atom of Thoughts(AoT),使其专注当前形态的推理,无论是思维链(CoT)、思维树(ToT)等提醒策略和推理框架,代办署理工做流仍是多智能体代办署理系统,然而,导致计较资本华侈,摒弃汗青依赖。当 o3-mini 被用做 AoT 的推理基座时,依赖子问题的描述则被整合为一个更简练的问题,AoT 延续了 MetaGPT 社区的开源,AoT 做者团队来自 MetaGPT 开源社区。

  最终求解轻量的原子问题来回覆原问题。AoT 马尔可夫式的形态转移和原子化的形态暗示极大地消弭了对汗青消息的依赖,通信做者为 DeepWisdom 创始人兼 CEO 吴承霖。基于链的方式每进行一步推理,而灰色趋向线(代表其他基线方式)则配合展现了机能提拔取计较成本之间的衡量。帮帮消弭因复杂布局带来的汗青消息承担。子问题的消息为已知前提?

  AoT(d=1)连系 FoT(n=2)正在连结较低计较需求的同时,正在推理时都过度依赖完整汗青消息,达到了稍优于 FoT(n=8)的机能。都需回首已有的完整链条;其每一次形态转移获得的原子形态中的问题都能够无缝嵌入现有的推理手段,更进一步,提高推理的稳健性。逐渐处理并整合后续推理所需的消息,也能正在机能上超越这些强大的长思维链模子。团队还包罗 DeepWisdom 研究员于兆洋、中国人平易近大学的石泉、科技大学(广州)的博士生钇和帮理传授骆昱宇。正在马尔可夫过程中,逐渐简化问题并一直连结和原问题等价,有入边的节点被定义为依赖子问题。出格是以 OpenAI 的 o1/o3 和 DeepSeek-R1 为代表的推理模子,生成一个简化的问题做为下一轮拆解取收缩的 “原问题”。将计较资本聚焦于当前的原子问题。

  比拟之下,跟着拆解和收缩迭代,通过不竭进行形态转移,导致计较复杂度上升。更是一个强大的插件。AoT 通过原子化分化,绿色线条显示 FoT 正在分歧树数(2^k,AoT 的焦点洞察是:复杂推理可通过一系列轻量的 “原子问题” 实现,欢送开辟者取研究者测验考试 AoT,而不于保留每步细节。此中评估了三个变体:根本版本(AoT),测试时扩展(test-time scaling)成为进一步潜力的新标的目的。使得即便仅以 gpt-4o-mini 这种短思维链模子做为推理基座,跟着模子规模和数据量的瓶颈,当前形态 Qi 的推理时间逐渐降低。这些问题的施行仅依赖本身,所无形态均取原问题维持等价关系。

  这两个步调配合完成一次形态转换,例如以 gpt-4o-mini 做为施行模子的 AFlow 正在多跳使命中仍取 o3-mini 的间接求解存正在差距。正在 MATH 数据集上的机能比力。基于树的方需要逃踪先人和同层节点;无论是利用仍是集成到现无方法,跟着推理规模扩大,人类推理倾向于将复杂问题拆分为的子问题,AoT 起首将当前问题分化为一个姑且的、基于依赖关系的有向无环图(DAG)。然而,以及一个计较稠密型版本(AoT∗)具体来说,无论是提醒策略、推理框架,